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(57) Abstract: The invention relates 
to a communication method for 
transmitting Ethernet messages in 
a distributed real-time system in 
which a plurality of network node 
computers, e.g. four network node 
computers (111, 112, 113, 114) 
comprising at least one communica- 
tion controller (121, 122, 123, 124) 
each, are linked via a communication 
system that comprises one or more 
109 communication channels (109), 

whereby in every communication 
channel one ore more intelligent star 
couplers (101, 102) are disposed. 
According to the invention, a 
distinction is made between 
conventional Ethernet messages 
(ET messages) and timed Ethernet 
messages (TT messages), the TT 
messages being transported with an 
a priori known constant delay time (?) 
between transmitter and receiver. If 

there is a time conflict between ET and TT messages, the transport of the conflicting ET messages is delayed or interrupted in 
ON order to be able to transport the TT message with the constant delay time (?). The invention further relates to a corresponding 
communication system and to a star coupler suitable for such a communication system. 

O (57) Zusammenfassung: Die Erfindung betrifrt ein Kommunikationsverfahren zur Ubertragung von Ethernet-Nachrichten in einem 
verteilten Echtzeitsystem, in dem eine Vielzahl von Knotenrechnem, Z.B. vier Knotenrechner (111, 1 12, 113, 1 14), die uber min- 
destens je einen Kommunikationskontroller (121, 122, 123, 124) verfugen, uber ein Kommunikationssystem bestehend aus einem 
oder mehreren Kommunikationskanalen (109) verbunden sind, wobei in jedem Kommunikationskanal ein oder mehrere intelligente 

OSternkoppler (101i 102) angeordnet sind. Erfindungsgemass wird zwischen herkdmmlichen Ethernet-Nachrichten (ET-Nachrichten) 
^ und zeitgesteuerten Ethernet-Nachrichten (TT-Nachrichten) unterschieden, wobei die TT-Nachrichten mit einer a priori bekannten 

^ [Fortsetzung auf der ndchsten Seite] 
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^^iT^^V^^ (A) transport zu kronen. Waiters betnfft die Erfindung «n entsprechendes 
Kommunikationssysiern sowie einen Stemkoppler fur ein solches KommunikaLonssystem. 
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KOMMUNIKATIONSVERFAHREN UND SYSTEM ZUR tfBERTRAGUNG VON ZETTGESTEUERTEN 
UND EREIGNISGESTEUERTEN ETHERNET-NACHRICHTEN 

Die Erfindung betrifft ein Kommxinikationsverfahren zur Ubertragung von Ethernet- 
Nachrichten in einem verteilten Echtzeitsystem, in dem eine Vielzahl von Knotenrechnern, 
z.B. vier Knotenrechner, die ttber mindestens je einen Kommxinikationskontroller verfiigen, 
die uber ein Koirununikationssystem bestehend aus einem oder mehreren Kommunikations- 
kanalen verbunden sind, wobei in jedem Kommunikationskanal ein oder mehrere intelligen- 
te Stemkoppler angeordnet sind. 

Weiters betrifft die Erfindung einen Stemkontroller fur ein Kommunikationssystem zur 
Ubertragung von Ethemet-Nachrichten in einem verteilten Echtzeitsystem umfassend eine 
Vielzahl von Knotenrechnern, z.B. vier Knotenrechner, die liber mindestens je einen Kom- 
muiukationskontroller verfiigen, wobei das Kommunikationssystem aus einem oder mehre- 
ren Kommunikationskanalen besteht, liber welche die Knotenrechner miteinander verbun- 
den sind, und wobei in jedem Kommunikationskanal ein oder mehrere intelligente Stem- 
koppler angeordnet sind. 

Im weiteren Text wird auf die untenstehend angegebene Literatur verwiesen: 

[1] US 5694542 issued on Dec. 12, 1989: A loosely coupled distributed computer system with 
node synchronization for precision in real time. 

[2] EP 0 658 257 vom 18.12.1996: Kommxinikationskontrolleinheit und Verfahren zur Uber- 
mittlung von Nachrichten. 

[3] US 5887143 issues on March 23, 1999: Time-Triggered Communcation Control Unit and 
Communication. 

[4] AT 407 582 vom 15.6.2000: Nachrichtenverteilereinheit mit integriertem Guardian zur 
Verhinderung von Babbling Idiot Fehlern. 

[5] AT 408 383 vom 15.3.2001: Verfahren und Kommunikationskontrolleinheit zur Multimas- 
teruhrensynchronisation in einem verteilten Echtzeitcomputersystem. 

[6] AT Patentanmeldung 1723/2001 vom 10. 10. 2000: Verfahren zur Tolerierung von 
slightly-off-specification Fehlern in einem verteilten fehlertoleranten Echtzeitsystem. 
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[7] AT Patentanmeldung 429/2001 vom 19.3.2001: Kommunikationsverfahren zur Realisie- 
rung von Ereigniskanalen in einem zeitgesteiierten Konimunikationssystem. 

[8] IEEE Ethernet Standard 802.3 at URL? http://standards.ieee.org 

[9] Kopetz, H. (1997). Real-Time Systems, Design Principles for Distributed Embedded 
Applications; ISBN: 0-7923-9894-7. Boston. Kluwer Academic Publishers 

[10] Sharon, O., Spratt, M., „A CSMA/CD compatible MAC for real-time transmission based 
on varying collision intervals". In: INFCOM '98. Seventh Annual Meeting Joint Conference 
of the IEEE Computer and Communications Societies. Proceedings. IEEE, Volume: 3, 1998, 
Seiten 1265 - 1272 vol. 3. 

In den vergangen zwanzig Jahren hat sich der IEEE Ethernet Standard 802.3 [8] so weit 
durchgesetzt, dass aufgrund des vorhandenen Massenmarktes fur Ethernet Controller im 
Personal Computer Bereich die Kosten fur Ethernet basierte Kommunikationssysteme sehr 
stark gesunken sind. Aus diesen Kostengriinden wird Ethernet auch zunehmend in der 
Echtzeitdatenverarbeitung eingesetzt, obwohl das vorhandene Ethemetprotokoll keine 
guten Echtzeiteigenschaften, wie rninimaler Jitter, besitzt. 

Aus [10] ist ein CSMS/CD-System bekannt, bei dem Nachrichten in solche niedriger und 
hoher Prioritat unterteilt werden, wobei bei einem Konflikt zweier Nachrichten jener Nach- 
richt mit hoher Prioritat der Vorzug gegeben wird. 

Mit der hier vorgeschlagenen Vorgangsweise alleine lassen sich allerdings die Echtzeiteigen- 
schaften des Ethemetprotokolls nicht wesentlich verbessern. 

Es ist eine Aufgabe der Erfindung, die Ubertragung von Ethernet-Nachrichten mit guten 
Echtzeit-Eigenschaften zu ermOglichen. 

Diese Aufgabe wird mit einem eingangs erwahnten Verfahren dadurch gelost, dass erfin- 
dungsgemaG zwischen herkommlichen Ethemet-Nachrichten (ET-Nachrichten) und zeitge- 
steuerten Ethernet-Nachrichten (TT-Nachrichten) unterschieden wird, die TT-Nachrichten 
mit einer a priori bekannten konstanten VerzOgerungszeit zwischen Sender und Empfanger 
transportiert werden, und bei einem zeitlichen Konflikt zwischen ET- und TT-Nachrichten 
der Transport der in Konflikt stehenden ET-Nachricht verzOgert oder abgebrochen wird, um 
die TT-Nachricht mit der konstanten VerzSgerungszeit transportieren zu kSnnen. 
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Weiters wird die eingangs erwahnte Auf gabe mit einem eingangs erwahnten Sternkontroller 
gelost, der ernridungsgemafi dazu eingerichtet ist, zwischen herkommlichen Ethemet- 
Nachrichten (ET-Nachrichten) und zeitgesteuerten Ethernet-Nachrichten (TT-Nachrichten) 
zu unterscheiden, die TT-Nachrichten miteiner a priori bekannten konstanten Verzoge- 
rungszeit zwischen Sender und Empfanger zu transportieren, wobei bei einem zeitlichen 
Konflikt zwischen ET- und TT-Nachrichten der Transport der in Konflikt stehenden ET- 
Nachricht verzogert oder abgebrochen wird, um die TT-Nachricht mit der konstanten 
Verzogenmgszeit transportieren zu kSnnen. 

Im Gegensatz zu der in [10] geoffenbarten „non pre-emptive" Losung muss bei der vorlie- 
genden Erfindung nicht das Ende des Sendens einer Nachricht mit niedriger Prioritat abge- 
wartet werden, sondern es wird die Nachricht niedriger Prioritat abgebrochen, um die 
Nachricht hoher Prioritat senden zu konnen („ pre-emptive"). Dadurch ist es auch nicht 
notwendig, die maximale Laufzeit von Nachrichten mit niedriger Prioritat abzuwarten, und 
die konstante Latenz kann somit auch kurz gehalten werden. 

Durch das Garantieren einer konstanten Verzogerungszeit kann eine hohe regelungstechni- 
sche Genauigkeit erreicht werden. Die konstante Verzogenmgszeit ist dabei aus dem Grund 
von besonderer Bedeutung, da wie aus der Theorie der Uhrensynchronisation bekannt ist, 
die Variability der Verzogerungszeit (das ist die Differenz zwischen der maximalen und der 
minimalen Verzogerungszeit) die Genauigkeit der Uhrensynchronisation verschlechtert. 
Eine a priori bekannte konstante Verzogerungszeit kann im Uhrensynchronisationsalgo- 
rithmus berucksichtigt werden und hat daher keinen Einfluss auf die Genauigkeit der 
Uhrensynchronisation. Eine ungenaue Uhrensynchronisation fuhrt zu einer schlechten 
Zeitbasis, da die Granularitat der globalen Zeit grofier sein muss als die Genauigkeit der 
Uhrensynchronisation. Eine grobe Granularitat der Uhren fuhrt zu einer ungenauen zeitli- 
chen Auflosung von Ereignissen. Welters bestimmt die VariabiHtat der Verzogerungszeit 
auch die Genauigkeit der Synchronisation verteilter Aktionen in einem verteilten Computer- 
system. 

Die vorliegende Erfindung ermSglicht es, die Echtzeiteigenschaften eines auf Ethernet 
Nachrichten aufbauenden Kommunikationssystems wesentlich zu verbessern. Dieses neue 
Kommunikationssystem untersnitzt den Parallelbetrieb von ereigrdsgesteuerten und zeitge- 
steuerten Ethernet-Nachrichten in einem einzigen Kommunikationssystem Im folgenden 
werden die klassischen Ethernet-Nachrichten als ET-(event-triggered) Nachrichten und die 
zeitgesteuerten Ethernet-Nachrichten als TT-(time-triggered) Nachrichten bezeichnet. Die 
TT-Nachrichten haben eine konstante Verzogerungszeit und minimalen Jitter. 
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Durch die Erfindung ergeben sich folgende sigrufikante wirtschaftliche Vorteile. Der mini- 
male Jitter der TT-Nachrichten ermoglicht den Aufbau von Regelkreisen von hoher rege- 
lungstechnischer Qualitat. Die TT-Nachrichten ermoglichen den Aufbau einer globalen Zeit 
mit guter Prazision. Die globale Zeit unterstiitzt die Generierung genauer lokaler Zeitstem- 
pel in der Datenerfassung und ermoglicht es, die temporale Spezifikation der Schnittstellen 
zu verbessern. Aufierdem konnen herkOmmliche Ethernet-Controller ohne Anderungen 
eingesetzt werden. 

Das erf indungsgemafie Verfahren lasst sich besonders einfach realisieren, wenn die konstan- 
te VerzSgerungszeit so gewahlt wird, dass innerhalb dieser Verzogerungszeit die Ausgangs- 
kanale des Sternkopplers fur den Transport der eintreffenden TT-Nachricht frei gemacht 
werden konnen. 

Bei einer Ausfuhrungsforrn ist in einem ausgezeichneten Feld der Nachricht gekennzeichnet, 
ob die Nachricht eine TT-Nachricht oder eine ET-Nachricht ist. 

Weiters kann in einer TT-Nachricht ein optionales Zeitfeld enthalten sein, das den Sende- 
zeitpunkt der Nachricht angibt 

Von Vorteil ist es dabei, wenn bereits durch eine a priori Planung festgelegt wird, dass 
zwischen dem Transport von zwei TT-Nachrichten ein zeitHcher Abstand von mindestens 
der konstanten Verzogerungszeit eingehalten wird. 

Weiters wird die oben erwahnte Aufgabe mit einem eingangs erwahnten System geldst, 
welches erfindungsgemafi dazu eingerichtet ist, zwischen herkommlichen Ethernet- 
Nachrichten (ET-Nachrichten) und zeitgesteuerten Emernet-Nachrichten (TT-Nachrichten) 
zu unterscheiden und die TT-Nachrichten mit einer a priori bekannten konstanten Verzoge- 
rungszeit zwischen Sender und Empfanger zu transportieren, wobei bei einem zeitlichen 
Konflikt zwischen ET- und TT-Nachrichten der Transport der in Konflikt stehenden ET- 
Nachricht verzogert oder abgebrochen wird, urn die TT-Nachricht mit der konstanten 
Verzogerungszeit transportieren zu konnen. 

Wie bereits oben erwahnt, ist es von Vorteil, wenn die konstante Verzogerungszeit so ge- 
wahlt ist, dass innerhalb dieser Verzogerungszeit die Ausgangskanale des Sternkopplers fur 
den Transport der eintreffenden TT-Nachricht frei gemacht werden kSnnen. 



AuSerdem kann vorgesehen sein, dass in einem ausgezeichneten Feld der Nachricht ge- 
kennzeichnet ist, ob die Nachricht eine TT-Nachricht oder eine ET-Nachricht ist. 
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Weiters kann in einer TT-Nachricht ein optionales Zeitfeld enthalten sein, das den Sende- 
zeitpunkt der Nachrieht angibt. 

Von Vorteil ist es dabei, wenn bereits durch eine a priori Planung festgelegt ist, dass zwi- 
schen dem Transport von zwei TT-Nachrichten ein zeitiicher Abstand von mindestens der 
konstanten Verzogerungszeit eingehalten wird. 

Bei einer konkreten Ausfuhrungsform des Kommunikationssystems ist vorgesehen, dass 
dem Sternkoppler liber eine Konfigurationsnachricht bekannt geben wird, zu welchen 
Zeitpunkten eintreff ende Nachrichten TT-Nachrichten sind. 

Dabei unterscheidet der Sternkoppler zwischen TT-Nachrichten und ET-Nachrichten und 
transportiert die TT-Nachrichten mit einer a priori bekannten konstanten Verzogemngszeit, 
und bei einem zeitlichen Konflikt zwischen ET- und TT-Nachrichten bricht er den Transport 
der in Konflikt stehenden ET-Nachricht ab, um die TT-Nachricht mit der konstanten Verzo- 
gemngszeit transportieren zu konnen. 

Dabei ist dann vorgesehen, dass der Sternkoppler nach der zeitgerechten tfbertragung einer 
TT-Nachricht die in Konflikt gestandene abgebrochene ET-Nachricht emeut sendet. 

Weiters kann vorgesehen sein, dass der Sternkoppler seine lokale Uhr imter Nutzung des in 
einer TT-Nachricht enthaltenen Zeitfeldes synchronisiert. 

Besonders giinstig ist es dabei, wenn der Sternkoppler seine lokale Uhr unter Nutzung der in 
mehreren TT-Nachrichten enthaltenen Zeitfelder fehlertolerant synchronisiert. 

Zusatzlich kann vorgesehen sein, dass der Sternkoppler liber einen dedizierten unidirektio- 
nalen Kanal, auf dem alle TT-Nachrichten, die der Sternkoppler transportiert, ausgegeben 
werden, mit den replizierten Sternkopplem innerhalb eines Clusters von Knotenrechnem 
verbunden ist 

Zusatzlich ist es dann noch moglich, dass der Sternkoppler bei jeder TT-Nachricht auf der 
Basis seiner lokalen Zeit uberpriift, ob die TT-Nachricht innerhalb eines a priori bekannten 
Zeitfensters urn den in der Nachrieht enthaltenen Sendezeitpunkt ankommt, und der Stern- 
koppler bei verfriihtem oder verspatetem Eintreffen einer TT-Nachricht die Nachrieht so 
verstummelt, dass alle korrekten Empf anger die Nachrieht als fehlerhaft erkennen. 



WO 03/107609 



PCT/AT03/00164 



-6- 

Der Sternkoppler dekodiert jede TT-Nachricht und kodiert diese auf der Basis seines lokalen 
ZeitgebeTS erneut. 

Der Sternkoppler liest ein oder mehrere ausgewahlte Felder von TT-Nachrichten und iiber- 
priift wahrend der Verzogerungszeit, ob der Inhalt dieser Felder mit bekannten Kriterien, die 
dem Sternkoppler uber eine Konfigurationsnachricht a priori mitgeteilt wurden, iiberein- 
stimmt Falls eine Ubereinstirnmung nicht gegeben ist, wird die Nachricht so verstiimmelt, 
dass alle korrekten Empfanger die Nachricht als f ehlerhaft erkennen. 

Aufierdem ist erfindungsgemafi noch vorgesehen, dass der Kommunikationskontroller seine 
lokale Uhr unter Nutzung des in einer TT-Nachrichten enthaltenen Zeitfeldes synchroni- 
siert; 

Der Kommunikationskontroller synchronisiert seine lokale Uhr unter Nutzung der in meh- 
reren TT-Nachrichten enthaltenen Zeitfelder f ehlertolerant. 

Aufierdem sendet der Kommunikationskontroller eine von einer auf einem Knotenrechner 
ausgefiihrten Applikation ubernommene TT-Nachricht autonom, sobald der in der Nach- 
richt im Zeitf eld angegebene Sendezeitpxinkt erreicht wird. 

Weiters ist vorgesehen, dass der Kommunikationskontroller zwischen ET- und TT- 
Nachrichten unterscheidet und der Kommunikationskontroller die ET-Nachrichten entspre- 
chend der Ereignissemantik an die lokale Applikationssoftware anbietet, wobei eine neue 
Nachricht in eine Warteschlange eingereiht wird, aus der von der Applikationssoftware 
konsumierend gelesen wird, und der Kommunikationskontroller TT-Nachrichten entspre- 
chend der Zustandssemantik an die lokale Applikationssoftware anbietet, wobei eine neue 
Nachricht die alte Version der Nachricht ersetzt und das Lesen durch die lokale Applikati- 
onssoftware nicht konsumierend erf olgt. 

Schliefilich verfiigt der Kommunikationskontroller iiber zwei oder mehr imabhangige 
Kommunikationskanale, auf denen identische Kopien einer TT-Nachricht angeboten werden, 
und der einen Kommunikationsvorgang als erfolgreich betrachtet, wenn auf mindestens 
einem dieser redundanten Kanale eine gultige TT-Nachricht rechtzeitig eintriff t. 

Im Folgenden ist die Erfindung an Hand der Zeichnung naher erlautert. In dieser zeigt 

Fig. 1 die Struktur eines verteilten Computersystems mit einem Sternkoppler, 
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Fig. 2 die Struktur eines verteilten Computersystems mit zwei Sternkoppler, 

Fig. 3 den Aufbau einer standardisierten normalen Ethernet Nachricht, 

Fig. 4 den Aufbau einer standardisierten erweiterten Ethernet Nachricht, 

Fig. 5 den Aufbau einer TT-Ethernet Nachricht, und 

Fig. 6 die Bitf elder eines TT-Parameterf eldes der TT-Ethernet-Nachricht. 

Im Folgenden wird eine Realisierung des neuen Verf ahrens an einem moglichen Beispiel mit 
vier Knotenrechnern, die iiber einen oder zwei replizierte Sternkoppler verbunden sind, 
gezeigt. 

Fig. 1 zeigt ein verteiltes Computersystem mit einem Sternkoppler. Es besteht aus den vier 
Knotenrechner 111, 112, 113, und 114, die uber je einen Kommunikationskontroller 121, 122, 
123, und 124 mit je einem bidirektionalen Kommunikationskanalanschluss verfugen, und die 
iiber ein Kommunikationssystem bestehend aus einem Kommunikationskanal 109 verbun- 
den sind. In diesem Kommunikationskanal befindet sich ein intelligenter Sternkoppler 101 
zur zentralen Steuerung der Kommunikation. Der Sternkoppler 101 kaim iiber einen optio- 
nalen getrennten Kommunikationskanal 141 initialisiert und beobachtet werden. 

Fig. 2 zeigt ein verteiltes fehlertolerantes Computersystem mit zwei Sternkopplern. Es 
besteht aus den vier Knotenrechner 111, 112, 113, und 114, die liber je einen Kommunikati- 
onskontroller 121, 122, 123, und 124 mit je zwei bidirektionalen Kommunikationskanalan- 
schlussen verfugen. Jeder dieser Kommimikationskanalanschltisse ist mit je einem intelligen- 
ten Sternkoppler 101 und 102 verbunden, die die zentrale Steuerung der Kommunikation 
vornehmen. Der Sternkoppler 101 kann seine Nachrichten iiber Kanal 151 an den Sternkopp- 
ler 102 senden und kann iiber den getrennten Kommunikationskanal 141 initialisiert und 
beobachtet werden. Der Sternkoppler 102 kann seine Nachrichten iiber Kanal 152 an den 
Sternkoppler 101 senden und kann iiber den getrennten Kommunikationskanal 142 initiali- 
siert und beobachtet werden. 

Fig. 3 zeigt den Aufbau einer entsprechend [8] standardisierten normalen Ethernet Nach- 
richt. Nach einer Preamble 301 mit einer Lange von 7 Bytes befindet sich das Start Delimiter 
Feld 302, die Zieladresse 303, die Senderadresse 304, die Nachrichtenlange bzw. der Type der 
Nachricht 307, das variable Datenfeld 310, das optionale PAD Feld 311, mit dem kurze 
Nachrichten verlangert werden, und die Frame-Check Sequence 312. 
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Fig. 4 zeigt den Aufbau einer entsprechend [8] standardisierten erweiterten Ethernet Nach- 
richt. In Erganzung zu den in Fig. 3 beschriebenen Feldern findet sich in Feld 305 eine Ken- 
nung fur die erweiterte Nachricht und im Feld 306 ein Tag-Type Feld. In diesem Tag-Type 
Feld kann der Benutzer die Prioritat einer -Nachricht festlegen. Die hochste Prioritat kann 
entsprechend dieser Erfindung zur Kennung einer TT-Nachricht yerwendet werden. Eine 
solche Kennung ist konform zum Ethernet Standard [8]. Es sei darauf hingewiesen, dass im 
Ethernet Standard die Kodevergabe fur das Feld 305 noch nicht voll ausgeschopft ist und 
daher auch dieses Feld fur die Kennung einer TT-Nachricht herangezogen werden konnte. 

Fig. 5 zeigt den Aufbau einer TT-Ethernet Nachricht. Zusatzlich zu den in Fig. 4 beschriebe- 
nen Feldern wird im Feld 308 ein TT-Parameterfeld eingefuhrt und in Feld 309 der optionale 
Sendezeitpunkt der TT-Nachricht angegeben. Ein am Markt verfiigbarer standardisierter 
Ethernet Kontroller sieht in den Feldern 308 und 309 benutzerspezifische Datenf elder. Im TT- 
Parameterfeld 308 befinden sich Inf ormationen betreffend die Struktur und den Typ der TT- 
Nachricht. 

Fig. 6 zeigt den Inhalt der Bitfelder des TT-Parameterfeldes 308. Ist das Bit in Feld 601 (low- 
order bit) gesetzt, so bedeutet dies, dass in der TT-Nachricht der Sendezeitpunkt in Feld 309 
enthalten ist. Ist das Bit in Feld 602 gesetzt, so bedeutet, dies dass die Nachricht von einem 
Sender mit einer prazisen Uhrzeit kommt und zur Uhrensynchronisation herangezogen 
werden darf . 

Wenn ein Knotenrechner, z.B. Ill, eine TT-Nachricht senden will, so setzt er im Nachrichten- 
feld 306 die Kennung ftir eine TT-Nachricht und sendet die Nachricht. Alternativ kann die 
auf einem Knotenrechner ablauf enden Applikationssof tware das Bit 601 in der Nachricht 
setzen und den gewunschten Sendezeitpunkt in das Feld 309 der Nachricht schreiben. Der 
Sendestart kann dann autonom durch einen erfindungsgemafi erweiterten Ethernet Kom- 
munikationskontroller prazise zum festgelegten Sendezeitpunkt 309 erfolgen. Wenn der 
Sender das Bit 602 der Nachricht setzt, dann beinhaltet die Nachricht eine besonders prazise 
Zeitangabe, die fiir die Uhrensynchronisation der anderen Kontroller herangezogen werden 
kann. 

Der Sternkoppler analysiert eine ankommende Nachricht und stellt an Hand von Feld 306 
fest, ob eine TT-Nachricht oder eine ET-Nachricht ankommt. Im Falle einer TT-Nachricht 
bestimmt der Sternkoppler auf der Basis des Feldes 303 den gewtinschten Ausgabekanal, z.B. 
zu Knoten 114 in Fig. 1. Wenn auf diesem Kanal gerade eine ET-Nachricht gesendet wird, so 
bricht der Sternkoppler diesen Sendevorgang sofort ab und macht den Kanal zu Knoten 114 
innerhalb einer bekannten konstanten Verzogerungszeit A fiir den Weitertransport der 



WO 03/107609 



PCT/AT03/00164 



-9- 

gerade ankommende TT-Nachxicht frei. Die Verzogerungszeit A muss~so lange gewahlt 
werden, dass in jedem Fall der Ausgangskanal innerhalb dieser Verzogerungszeit A fur den 
Transport der TT-Nachricht freigemacht werden kann. Im Rahmen einer a priori Planung 
der TT-Kommunikation muss sichergestellt sein, dass der Abstand zwischen auf einanderfol- 
genden TT-Nachrichten grofier ist als die Verzogerungszeit A. Im Einzelfall halt der 
Sternkoppler diese konstante Verzogerungszeit A zwischen dem Beginn des Empfanges 
einer TT-Nachricht und dem Beginn des Sendens einer TT-Nachricht prazise ein. Wenn der 
Sternkoppler den Transport einer in Konflikt stehenden ET-Nachricht abgebrochen hat, so 
kann er nach dem zeitgerechten Transport der TT-Nachricht die abgebrochene ET-Nachricht 
emeut senden. Der Sternkoppler kann auch Guardian Funktionen, wie sie in [4] beschrieben 
sind, iibernehmen urn fehlerhafte Nachrichten zu erkennen und zu isolieren und so die 
Ausbreitung von Fehlern zu verhindern. Wenn eine TT-Nachricht im Feld 309 den Sende- 
zeitpunkt erhalt, so kann der Sternkoppler uberpriifen, ob die Nachricht entsprechend [6] 
innerhalb eines bekannten Toleranzintervalls um den Sendezeitpunkt ankommt und die 
Nachricht verwerfen, wenn dies nicht der Fall ist. Alternativ kann dem Sternkoppler tiber 
eine a priori ubermittelte Konfigurationsnachricht tiber Kanal 141 mitgeteilt werden, auf 
welchen Eingangskanalen zu welchen Zeitpunkten TT-Nachrichten erwartet werden. Diese 
Informationsredundanz verhindert in einem fehlertoleranten System, dass ein fehlerhafter 
Rechnerknoten eine falsche Sendezeit in die Nachricht eintragt. Da der Sternkoppler die 
Nachricht auf der Basis seines eigenen Oszillators und seiner eigenen Stromversorgung am 
Ausgang kodiert, wird die Weiterleitung eines SOS Fehlers vom Sender an die Empfanger 
unterbunden [4], Der Sternkoppler kann seine lokale Uhr initial synchronisieren, indem er 
den Beginn des Eintreffens einer TT-Nachricht misst und seine Uhr so einstellt, dass sie zu 
diesem Eintreffenszeitpunkt den Wert der in der Nachricht enthaltenen globalen Zeit 309 
angenommen Mtte [5]. 

Eine kontinuierliche fehlertolerante Uhrensynchrorusation kann wie folgt realisiert werden: 
der Sternkoppler bestimmt bei jeder in Feld 602 markierten Synchronisationsnachricht das 
Intervall zwischen dem mit seiner lokalen Uhr gemessenen Eintreffenszeitpunkt der Syn- 
chronisationsnachricht und dem im Feld 309 der Nachricht enthaltenen Sendezeitpunkt [5]. 
Dieses Intervall ist ein Mafi fur die Abweichung der Uhr des Empf angers von der Uhr des 
Senders. Wenn eine Anzahl von solchen Messungen vorliegt, so kann mit einem bekannten 
fehlertoleranten Synchronisationsalgorithmus, wie in [9] auf S. 61. beschrieben, der Korrek- 
turfaktur fur die Uhr des Sternkopplers errechnet werden. Ein solches fehlertolerantes 
Synchronisationsverfahren kann auch in der Hardware des Sternkopplers realisiert werden 
[1]. In einem fehlertoleranten System [2,3], in dem replizierte Kommunikationskanale 
entsprechend Fig. 2 vorhanden sind, kann jeder Sternkoppler tiber einen dedizierten Verbin- 
dungskanal (151 fur Sternkoppler 101 und 152 fur Sternkoppler 102) alle TT-Nachrichten an 
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den anderen Sternkoppler senden, damit dieser auch seine Uhr synchronisieren kann, wenn 
am eigenen Eingang keine Nachricht ankommt. In einem f ehlertoleranten System kann der 
Sternkoppler innerhalb der VerzSgerungszeit A den Inhalt des Datenfeldes 310 der Nachricht 
entsprechend ihm iiber eine Konf igurationsnachricht bekannt gegebenen Kriterien iiberpru- 
fen, urn Datenfehler des Senders zu erkennen. Eine als fehlerhaft erkannte Nachricht wird 
vom Sternkoppler nicht weitergeleitet. 

Wenn ein empfangender Kommurukauonskontroller im Feld 309 der eintreffenden TT- 
Nachricht den Sendezeitpunkt vorfindet, so kann er seine lokale Uhr initial synchronisieren, 
indem er den Beginn des Eintreffens dieser Nachricht misst, und seine Uhr so einstellt, dass 
sie zu diesem Eintreffenszeitpunkt den Wert der in der Nachricht enthaltenen globalen Zeit 
309 plus dem konstanten vom Sternkoppler verursachten Verzogerungsintervall A ange- 
nommen hatte [5]. Eine kontmuierliche fehlertolerante Uhrensynchronisation kann wie folgt 
realisiert werden: der Kommunikationskontroller bestimmt bei jeder in Feld 602 markierten 
Synchronisationsnachricht das Intervall zwischen den mit seiner lokalen Uhr gemessenen 
Eintreffenszeitpunkt der Synchronisationsnachricht und dem im Feld 309 der Nachricht 
enthaltenen Sendezeitpunkt. Er verkiirzt dieses Intervall urn das bekannte Verzogerungsin- 
tervall A des Sternkopplers. Dieses verkurzte Intervall ist ein Mali fur die Abweichung der 
Uhr des Empfangers von der Uhr des Senders. Wenn eine Anzahl von solchen Messungen 
vorliegt, so kann mit einem bekannten fehlertoleranter Synchronisationsalgorithmus, wie in 
[9] auf S. 61. beschrieben, der Korrekturfaktur fur die Uhr des Empfangers errechnet werden. 
Ein solches fehlertolerantes Synchronisationsverfahren kann auch in der Hardware des 
empfangenden Kommunikationskontrollers realisiert werden [1]. Wenn die Applikations- 
software eines Rechnerknotens, z.B. Ill, in das Nachrichtenfeld 309 den beabsichtigten 
Sendezeitpunkt der Nachricht eintragt, so kann ein erfindungsgemali erweiterter Kommuni- 
kationskontroller den Beginn des Sendens autonom rum prazis richtigen Sendezeitpunkt 
veranlassen [2,3]. An der Schnittstelle zwischen dem empfangenden Kommunikationskon- 
troller, z.B. 121 und der Applikationssoftware kann ein erfindungsgemal? erweiterter Kom- 
munikationskontroller ET-Nachrichten und TT-Nachrichten unterschiedlich anbieten. ET- 
Nachrichten beinhalten normalerweise Informationen iiber Ereignisse und miissen nach der 
Ereigrussemantik bearbeitet werden[7]. Die Ereignissemantik verlangt, dass eintreffende 
Nachrichten in einer Warteschlange zwischengespeichert werden und exakt einmal an den 
Benutzerprozess iibergeben werden. TT-Nachrichten beinhalten normalerweise Zustandsda- 
ten, die entsprechend der Zustandssemantik in einem gemeinsamen Speicher angeboten 
werden kOnnen. Das Eintreffen einer neuen TT-Nachricht uberschreibt den Speicherwert 
einer alteren TT-Nachricht gleichen Namens. Der empfangende Prozess liest Zustandsdaten 
nicht konsumierend. In einem fehlertoleranten System, das iiber mehrere unabhangige 
Kommunikationskanale verfugt, z.B. iiber zwei Kanale wie in Fig. 2, werden Nachrichten 
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repliziert gesendet In einem solchen System ist die Kommunikation erfolgreich, wenn 
mindestens eine der replizierten Nachrichtenkopien beim Empf anger ankommt. 

Abschliefiend sei festgehalten, dass die vorab beschriebene konkrete Implementierung der 
Integration von zeitgesteuerten und ereignisgesteuerten Nachrichten im Ethernet nur eine 
von vielen moglichen Implementierungsvarianten der vorliegenden Erfindung darsteUt. 
Zum Beispiel ist es moglich, die Entscheidung, ob eine beim Sternkoppler ankommende 
Nachricht eine TT-Nachricht ist, nicht vom Nachrichteninhalt in Feld 306 oder in Feld 305 
sondern vom Zeitpunkt des Eintreffens einer Nachricht beim Sternkoppler abzuleiten. In 
einem solchen Fall muss dem Sternkoppler a priori uber eine Konfigurationsnachricht 
bekannt gegeben werden, warm und atif welchem Kanal eine TT-Nachricht zu erwarten ist. 
Das gleiche gilt fur die Kommurrikationskontroller. 

Es ist ein wesentliches Charakteristikum dieser Erfindimg, dass bestehende handelsiibliche 
Ethernet ControUer ohne Verandenmg zeitgesteuerte Nachrichten senden und empfangen 
konnen. 
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PatentansprOche 



1 Kornmunikanonsverfahren zur Obertragung von Ethernet-Nachrichten in einem 
verteilten Echtzeitsystem, in dem eine Vielzahl von Knotenrechnern, z.B. vier Knotenrechner 
(111 112 113 114), die iiber mindestens je einen Kommunikatior*kontroller (121, 122, 123, 
124)' verftigen, iiber ein Kommurukationssystem bestehend aus einem oder mehreren Kom- 
munikationskanalen (109) verbunden sind, wobei in jedem Kommurukatiorskanal ein oder 
mehrere intelligente Sternkoppler (101, 102) angeordnet sind, 

dadurch gekennzeichnet, dass 

zwischen herk6mrrdi C hen Ethernet-Nachrichten (ET-Nachrichten) und zeitgesteuerten 
Ethernet-Nachrichten (TT-Nachrichten) unterschieden wird, 

die TT-Nachrichten mit einer a priori bekannten konstanten Verzogerungszeit (A) zwischen 
Sender und Empf anger transportiert werden, 

und bei einem zeitUchen Konflikt zwischen ET- und TT-Nachrichten der Transport der in 
Konflikt stehenden ET-Nachricht verzSgert oder abgebrochen wird, urn die TT-Nachncht 
mit der konstanten Verzogerungszeit (A) transportieren zu konnen. 

2 Kommunikationsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die 
konstante Verzogerungszeit (A) so gewahlt wird, dass innerhalb dieser Verzogerungszeit (A) 
die Ausgangskanale des Sternkopplers (101, 102) fur den Transport der eintreffenden TT- 
Nachricht frei gemacht werden konnen. 

3 Kommunikationsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in 
einem ausgezeichneten Feld der Nachricht gekennzeichnet ist, ob die Nachricht eme TT- 
Nachricht oder eine ET-Nachricht ist. 

4 Kommunikationsverfahren nach einem der Anspriiche 1 bis 3, dadurch gekennzeich- 
net, dass in einer TT-Nachricht ein optionales Zeitfeld (309) enthalten ist, das den Sendezeit- 
punkt der Nachricht angibt. 

5 Kommunikationsverfahren nach einem der Anspriiche 1 bis 4, dadurch gekennzeich- 
net, dass dutch eine a priori Planting festgelegt wird, dass zwischen dem Transport von 
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zwei TT-Nachrichten ein zeitlicher Abstand von mindestens der konstanten Verzogerungs- 
zeit (A) eingehalten wird. 

6. Sternkoppler fiir ein Kommunikationssystem zur Obertragung von Ethernet- 
Nachrichten in einem verteilten Echtzeitsystem umfassend eine Vielzahl von Knotenrech- 
nern, z.B. vier Knotenrechner (111, 112, 113, 114), die iiber mindestens je einen Kommunika- 
tionskontroUer (121, 122, 123, 124) verfiigen, wobei das Kommunikationssystem aus einem 
oder mehreren Kommunikationskanalen (109) besteht, iiber welche die knotenrechner (111, 
112,113, 114) miteinander verbunden sind, und wobei in jedem Kommunikationskanal ein 
oder mehrere intelligente Sternkoppler (101, 102) angeordnet sind, 

daduxch gekennzeichnet, dass 

er dazu eingerichtet ist, zwischen herkommlichen Ethernet-Nachrichten (ET-Nachrichten) 
und zeitgesteuerten Ethernet-Nachrichten (TT-Nachrichten) zu unterscheiden, und 

die TT-Nachrichten mit einer a priori bekannten konstanten Verzogerungszeit (A) zwischen 
Sender und EmpfSnger zu transportieren, 

wobei bei einem zeitiichen Konflikt zwischen ET- und TT-Nachrichten der Transport der in 
Konflikt stehenden ET-Nachricht verzogert oder abgebrochen wird, um die TT-Nachricht 
mit der konstanten Verzogerungszeit (A) transportieren zu konnen. 

7. Sternkoppler nach Anspruch 6, dadurch gekennzeichnet, dass die konstante VerzSge- 
rungszeit (A) so gewahlt ist, dass innerhalb dieser VerzQgerungszeit (A) die Ausgangskanale 
des Sternkopplers (101, 102) fur den Transport der eintreff enden TT-Nachricht frei gemacht 
werden konnen. 

8. Sternkoppler nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass in einem ausge- 
zeichneten Feld der Nachricht gekennzeichnet ist, ob die Nachricht eine TT-Nachricht oder 
eine ET-Nachricht ist 

9. Sternkoppler nach einem der Anspriiche 6 bis 8, dadurch gekennzeichnet, dass in 
einer TT-Nachricht ein optionales Zeitfeld (309) enthalten ist, das den Sendezeitpunkt der 
Nachricht angibt. 



10. Sternkoppler nach einem der Anspriiche 6 bis 9, dadurch gekennzeichnet, dass durch 
eine a priori Planung f estgelegt ist, dass zwischen dem Transport von zwei TT-Nachrichten 
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ein zeitUcher Abstand von mindestens der konstanten VerzogerungsSeit (A) eingehalten 
wird. 

11. Sternkoppler nach einem der Anspriiche 6 bis 10, dadurch gekennzeichnet, dass dem 
Sternkoppler iiber eine Konfigurationsnachricht bekannt geben wird, zu welchen Zeitpunk- 
ten eintreff ende Nachrichten TT-Nachrichten sind. 

12. Sternkoppler nach einem der Anspriiche 6 bis 11, dadurch gekeWzeichnet, dass er 
zwischen TT-Nachrichten nnd ET-Nachrichten unterscheidet und die TT-Nachrichten mit 
einer a priori bekannten konstanten Verzogerungszeit (A)transportiert, und bei einem zeitii- 
chen Konflikt zwischen ET- und TT-Nachrichten den Transport der in Konflikt stehenden 
ET-Nachricht abbricht, urn die TT-Nachricht mit der konstanten VerzSgerungszeit (A) 
transportieren zu konnen. 

13. Sternkoppler nach einem der Anspriiche 6 bis 12, dadurch gekennzeichnet, dass er 
nach der zeitgerechten Ubertragung einer TT-Nachricht die in Konflikt gestandene abgebro- 
chene ET-Nachricht erneut sendet. 

14. Sternkoppler nach einem der Anspriiche 6 bis 13, dadurch gekennzeichnet, dass 
Sternkoppler seine lokale Uhr unter Nutzung des in einer TT-Nachricht enthaltenen Zeitfel- 
des (309) synchronisiert. 

15. Sternkoppler nach einem der Anspriiche 6 bis 14, dadurch gekennzeichnet, dass er 
seine lokale Uhr unter Nutzung der in mehreren TT-Nachrichten enthaltenen Zeitfelder (309) 
f ehlertolerant synchronisiert. 

16. Sternkoppler nach einem der Anspriiche 6 bis 15, dadurch gekennzeichnet, dass er 
iiber einen dedizierten unidirektionalen Kanal (151), auf dem alle TT-Nachrichten, die der 
Sternkoppler transportiert, ausgegeben werden, mit den replizierten Sternkopplem inner- 
halb eines Clusters von Knotenrechnern verbunden ist. 

17. Sternkoppler nach einem der Anspriiche 6 bis 16, dadurch gekennzeichnet, dass er bei 
jeder TT-Nachricht auf der Basis seiner lokalen Zeit iiberpriift, ob die TT-Nachricht innerhalb 
eines a priori bekannten Zeitfensters urn den in der Nachricht enthaltenen Sendezeitpunkt 
(309) ankommt, und der bei verfriihtem oder verspatetem Eintreffen einer TT-Nachricht die 
Nachricht so verstiimmelt, dass alle korrekten Empf anger die Nachricht als fehlerhaft erken- 
nen. 
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18. Sternkoppler nach einem der Anspriiche 6 bis 17, dadurch gekermzeichnet, dass er 
jede TT-Nachricht dekodiert und auf der Basis seines lokalen Zeitgebers erneut kodiert. 

19. Sternkoppler nach einem der Anspriiche 6 bis 18, dadurch gekermzeichnet, dass er ein 
Oder mehrere ausgewahlte Felder von TT-Nachrichten liest und wahrend der Verzogerungs- 
zeit (A) iiberpriif t, ob der Inhalt dieser Felder mit bekannten Kriterien, die dem Sternkoppler 
iiber eine Konfigurationsnachricht a priori mitgeteilt wurden, ubereinstimmt, und der, falls 
eine Ubereinstimmung nicht gegeben ist, die Nachricht so verstiimmelll, dass alle korrekten 
Empf anger die Nachricht als fehlerhaft erkennen. 

20. Kommunikationssystem zur Obertragung von Ethernet-Nachrichten in einem verteil- 
ten Echtzeitsystem umfassend eine Vielzahl von Knotenrechnem, z.B. vier Knotenrechner 
(111, 112, 113, 114), die iiber mindestens je einen Kommunikationskontroller (121, 122, 123, 
124) verfugen, wobei das Kommunikationssystem aus einem oder mehreren Kommunikati- 
onskanalen (109) besteht, iiber welche die Knotenrechner (111, 112,113, 114) miteinander 
verbunden sind, und wobei in jedem Kommunikationskanal ein oder mehrere intelligente 
Sternkoppler (101, 102) angeordnet sind, gekennzeichnet durch eine Sternkoppler nach 
einem der Anspriiche 6 bis 19. 

21. Kommunikationssystem nach einem der Anspriiche 6 bis 20, dadurch gekennzeichnet, 
dass der Kommunikationskontroller seine lokale Uhr unter Nutzung des in einer TT- 
Nachrichten enthaltenen Zeitf eldes (309) synchronisiert. 

22. Kommunikationssystem nach einem der Anspriiche 6 bis 21, dadurch gekennzeichnet, 
dass der Kommunikationskontroller seine lokale Uhr unter Nutzung der in mehreren TT- 
Nachrichten enthaltenen Zeitfelder (309) fehlertolerant synchronisiert. 

23. Kommunikationssystem nach einem der Anspriiche 6 bis 22, dadurch gekennzeichnet 
dass der Kommunikationskontroller eine von einer auf einem Knotenrechner ablaufenden 
Applikation iibernommene TT-Nachricht autonom sendet, sobald der in der Nachricht im 
Zeitf eld (309) angegebene Sendezeitpunkt erreicht wird. 

24. Kommunikationssystem nach einem der Anspriiche 6 bis 23, dadurch gekennzeichnet, 
dass der Kommunikationskontroller zwischen ET- und TT-Nachrichten unterscheidet und 
der Kommunikationskontroller die ET-Nachrichten entsprechend der Ereignissemantik an 
die lokale Applikationssoftware anbietet, wobei eine neue Nachricht in eine Warteschlange 
eingereiht wird, aus der von der Applikationssoftware konsumierend gelesen wird, und der 
Kommunikationskontroller TT-Nachrichten entsprechend der Zustandssemantik an die 
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lokale Applikationssoftware anbietet, wobei eine neue Nachricht die alte Version der Nach- 
richt ersetzt und das Lesen durch die lokale Applikationssoftware nicht konsumierend 
erfolgt. 

25. Koirununikationssystem nach einem der Anspniche 6 bis 24, dadurch gekennzeichnet, 
dass der Kommunikationskontroller iiber zwei oder mehr unabhangige Kommunikations- 
kanale verfugt, auf denen identische Kopien einer TT-Nachricht angeboten werden, und der 
einen Kommunikationsvorgang als erfolgreich betrachtet, wenn auf mindestens einem dieser 
redundanten Kanale eine gultige IT-Nachricht rechtzeitig eintrif f t. 
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